package Unit9Spider



/*
爬虫系统细节
	有效网络地址的判定
	有效网络地址的边界定义和校验
	重复的网路地址的过滤
	非直接的网络地址的发现和提取

	在根据网络根据地址组装HTTP请求时需要为其设定的各种各样的头信息和主体内容
	在对网页中的链接和内容进行筛选时需要用到的各种条件(提取条件，过滤条件和分类条件)
	处理筛选出的内容时涉及的各种处理方法和步骤

设计一个容易被定制和扩展的网络爬虫框架


*/

func main(){





}
